Broken on Arrival: Non-Functional Quantized LLM Artifacts in Public Model Registries and How to Catch Them
公共模型库中量化 LLM 工件非功能性失效及其检测
🧭 LLM 量化模型验收与发布测试
Independent Researcher
审计 Ollama 与 Hugging Face 量化模型发现 2.3% 低比特小模型功能失效，并证明校准可修复
📌 工作参考价值（4 点）
- 发布内部量化/蒸馏模型到模型库或线上前，构建轻量功能 smoke test（如代码生成 15-50 条业务相关 prompts）拦截“看似正常但输出失效”的模型，尤其对 2-4bit 小模型。
- 量化配方要作为模型元数据记录并在发布前验证：是否使用 importance matrix/calibration 数据；对低比特小模型优先做校准，论文中 Qwen2.5-Coder-3B 从 0 提升到 76-113/164，说明校准是关键开关。
- 模型验收不能只校验 hash/张量一致性；该研究显示 registry 文件与原权重张量完全一致但仍功能失效，需在目标推理栈上跑端到端任务，而非只做格式或数值对比。
- 对线上 Agent/推荐 LLM，建议建立“模型健康度回归集”，按量化级别和参数规模分层采样测试；低比特（≤4B 参数）模型发布应强制功能测试，避免上线即不可用。